CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents
CompactionRL：基于上下文压缩的强化学习训练长程智能体
🧭 长程Agent强化学习与上下文压缩
Tsinghua University
提出CompactionRL，联合优化任务执行与上下文压缩，使LLM智能体从压缩长轨迹中学习，显著提升长程编码任务性能
📌 工作参考价值（4 点）
- 多轮对话推荐/搜索Agent的上下文压缩训练：可借鉴CompactionRL思路，让推荐Agent在交互中自主生成紧凑的对话历史摘要，代替人工设计的截断或固定压缩模板，通过强化学习优化压缩质量和任务完成度的平衡，提升长对话下的推荐准确率和用户满意度。
- 联合损失的Token级归一化设计：在处理多目标强化学习（如推荐准确性与解释性文本生成）时，可采用token级别的损失加权，根据序列长度动态调整不同损失项的权重，避免长文本损失主导训练，适用于训练同时生成推荐理由和结果的Agent。
- 跨轨迹广义优势估计（GAE）：当训练数据包含多个不同推荐会话（轨迹）时，可借鉴跨轨迹GAE的技巧，更稳定地估计优势值并分配信用，改善大规模离线RL训练的效果。
- 推理阶段的上下文压缩部署：训练得到的自主压缩能力可简化在线推理，使推荐/搜索Agent在有限上下文窗口内支持更长的用户交互历史，降低抛弃历史带来的信息损失，同时节约上下文计算成本。